Внедрение TPU Google в облачную инфраструктуру Oracle



По мере масштабирования рабочих нагрузок ИИ во всех отраслях организациям необходимы вычислительные ресурсы, оптимизирующие пропускную способность, задержку и экономичность на протяжении всего жизненного цикла ИИ. Для удовлетворения этого спроса Oracle и Google Cloud объединяют усилия, чтобы предоставить процессоры Google Tensor Processing Units (TPU) для инфраструктуры Oracle Cloud Infrastructure (OCI), сделав OCI первым гипермасштабируемым провайдером за пределами Google, предлагающим TPU. Совместно мы начнем развертывание мощностей TPU на OCI начиная с 2027 календарного года.

TPU: Совместная разработка от кремниевой микросхемы до программного обеспечения.
Компания Google создала свой первый TPU более десяти лет назад, основываясь на четкой концепции продукта: совместная разработка специализированных микросхем с оптическими сетями, системами питания, жидкостным охлаждением и программным обеспечением компилятора обеспечивает прирост производительности на ватт и снижение общей стоимости владения, чего не могут достичь отдельные компоненты.

TPU v1 обеспечивал в 30 раз большую пропускную способность на ватт по сравнению с современными процессорами. Сегодня TPU используются для обучения и обслуживания Gemini в продуктах Google, насчитывающих миллиард пользователей, а TPU восьмого поколения обеспечивают до 12,6 PFLOPS нативных вычислений FP4 на чипе, что более чем в 100 раз превышает 92 TFLOPS у TPU v1 и в 2 раза повышает производительность на ватт по сравнению с предыдущим поколением. Однако одних только FLOPS недостаточно для определения экономической эффективности как обучения, так и вывода. Для обучения определяющим показателем является пропускная способность; процент времени, которое кластер тратит на продуктивные вычисления. Для вывода определяющими показателями являются задержка и стоимость на токен. TPU решают обе эти задачи за счет совместного проектирования на системном уровне.

Благодаря сочетанию внутрикристальной маршрутизации межсоединений (ICI) с оптической коммутацией каналов (OCS), плоскость управления обнаруживает аппаратные сбои или ухудшение качества связи и динамически перенаправляет оптические пути в обход неисправностей в режиме реального времени без перезапуска заданий, поддерживая пропускную способность более 97% на тысячах микросхем в крупномасштабных обучающих циклах и обеспечивая высокую доступность для обслуживания в производственной среде. Увеличенный объем SRAM на кристалле, большая емкость HBM и новая топология межсоединений малого диаметра, сокращающая количество сетевых переходов более чем на 50%, позволяют процессорам TPU последнего поколения обеспечивать до 80% лучшую производительность на доллар при обслуживании с низкой задержкой.

Эффективность аппаратного обеспечения приводит к ускорению разработки продукта, когда разработчики могут легко его внедрить. Наши недавние заявления на конференции PyTorch подтверждают наше стремление сделать программную экосистему Google TPU открытой и удобной для разработчиков средой для сообщества PyTorch. В частности, TorchTPU, наш собственный стек PyTorch для Google TPU, теперь доступен в качестве открытого исходного кода на GitHub. Теперь вы можете обучать, запускать и развертывать модели на TPU, используя уже используемые вами инструменты, включая vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, LiteRT.

Эта возможность переноса позволяет командам назначать каждую рабочую нагрузку акселератору, обеспечивающему наименьшую стоимость за токен или самое быстрое время обучения, без переписывания кода модели. А благодаря сегодняшнему объявлению, вскоре они смогут назначать эти рабочие нагрузки TPU в инфраструктуре Google Cloud или Oracle.

Расширение экосистемы инфраструктуры ИИ с помощью OCI
Даже несмотря на растущее внедрение TPU в Google Cloud, глобальный спрос на вычислительные ресурсы для ИИ превышает возможности любого отдельного облачного провайдера. Внедрение TPU в OCI предоставляет клиентам четыре существенных преимущества:
  • Центры обработки данных, спроектированные для высокой плотности ИИ: системы TPU от Google разработаны для прямого жидкостного охлаждения в масштабе стоек, и центры обработки данных следующего поколения OCI созданы именно для этого профиля. Oracle предоставляет гибкие и надежные мощности, которые могут переключаться между обучением моделей на переднем крае вычислений и выводом результатов в производственной среде в зависимости от меняющегося спроса клиентов. Сочетание эффективности TPU с инновационными подходами Oracle к электропитанию и охлаждению помогает быстро и в глобальном масштабе вводить в эксплуатацию энергоэффективные вычислительные мощности для ИИ.
  • Безопасная высокопроизводительная сеть с Oracle Acceleron: пока TPU передают трафик между чипами через ICI и OCS, Oracle Acceleron обеспечивает сетевую основу, соединяющую мощности TPU с остальной частью OCI. SmartNIC Acceleron с изоляцией арендаторов на аппаратном уровне, высокопроизводительной коммутационной матрицей и маршрутизацией пакетов с нулевым доверием обеспечивает передачу данных между базами данных Oracle, хранилищами и кластерами TPU с высокой пропускной способностью и низкой задержкой, не перегружая вычислительные ресурсы хостов и не ослабляя границы безопасности.
  • Близость к корпоративным данным: базы данных Oracle часто являются основной системой учета для крупных организаций. Предложение TPU непосредственно в OCI позволяет организациям проводить тонкую настройку и вывод результатов рядом с существующими корпоративными данными без дорогостоящих межоблачных переносов.
  • Возможность выбора различных архитектур: Предоставление TPU наряду с GPU в OCI дает командам гибкость в назначении оптимального ускорителя для каждого этапа рабочей нагрузки ИИ с учетом стоимости и производительности.

Благодаря интеграции вычислительных блоков Google TPU в облачную инфраструктуру Oracle, Google Cloud и Oracle открывают доступ к более чем десятилетнему опыту разработки специализированных систем искусственного интеллекта для более широкой экосистемы разработчиков. Когда у клиентов появляется больше вариантов специализированных вычислительных ресурсов в различных облачных средах, вся отрасль развивается быстрее и работает эффективнее. Мы с нетерпением ждём, что вы создадите.

Облачные масштабируемые суперкомпьютеры Google для машинного обучения, Cloud TPU Pods, теперь публично доступны в бета-версии



Чтобы ускорить развертывание самых масштабных приложений машинного обучения (ML), развертываемых сегодня, и обеспечить быструю разработку приложений ML завтрашнего дня, Google создала специальные кремниевые чипы, называемые Tensor Processing Units (TPU). При сборке в многостоечные суперкомпьютеры ML, называемые модулем Cloud TPU, эти TPU могут выполнять рабочие нагрузки ML за считанные минуты или часы, которые ранее занимали дни или недели в других системах. Сегодня впервые бета-версии Google Cloud TPU v2 и Cloud TPU v3 представлены в бета-версии, чтобы помочь исследователям, инженерам и ученым в области ML быстрее выполнять итерации и обучать более способные модели машинного обучения.
cloud.google.com/tpu/docs/tpus


A full Cloud TPU v3 Pod

Доставка стоимости бизнеса
Google Cloud стремится предоставить полный спектр ускорителей ML, включая облачные GPU и облачные TPU. Облачные TPU обеспечивают высокую конкурентоспособность производительности и стоимости, часто ускоряя обучение передовым моделям глубокого обучения и обеспечивая значительную экономию. Если ваша команда ML строит сложные модели и обучается на больших наборах данных, мы рекомендуем вам оценивать облачные TPU всякий раз, когда вам требуется:
  • Сокращение времени на понимание — итерация быстрее при обучении больших моделей ML
  • Более высокая точность — обучайте более точные модели, используя большие наборы данных (миллионы помеченных примеров; терабайты или петабайты данных)
  • Частые обновления модели — переподготовка модели ежедневно или еженедельно по мере поступления новых данных
  • Быстрое создание прототипов — начните быстро с наших оптимизированных эталонных моделей с открытым исходным кодом в сегментации изображений, обнаружении объектов, языковой обработке и других основных прикладных областях

Хотя некоторые пользовательские кремниевые микросхемы могут выполнять только одну функцию, TPU полностью программируются, а это означает, что облачные TPU Pod могут ускорять широкий спектр современных рабочих нагрузок ML, включая многие из самых популярных моделей глубокого обучения. Например, Cloud TPU v3 Pod может обучать ResNet-50 (классификация изображений) с нуля в наборе данных ImageNet всего за две минуты или BERT (NLP) всего за 76 минут.

Клиенты облачного TPU видят значительное ускорение в рабочих нагрузках, охватывающих визуальный поиск продуктов, финансовое моделирование, производство энергии и другие области. В недавнем тематическом исследовании Recursion Pharmaceuticals многократно проверяет жизнеспособность синтезированных молекул для лечения редких заболеваний. То, что заняло более 24 часов для обучения на их предварительном кластере, завершилось всего за 15 минут на облачном модуле TPU.
cloud.google.com/customers/recursion/

Что в облаке ТПУ Pod
Один модуль Cloud TPU может содержать более 1000 отдельных чипов TPU, которые соединены сверхбыстрой двумерной тороидальной ячеистой сетью, как показано ниже. Программный стек TPU использует эту ячеистую сеть, чтобы позволить многим стойкам машин быть запрограммированными как один гигантский суперкомпьютер ML через множество гибких высокоуровневых API.

2D тороидальная ячеистая сеть
Модули Cloud TPU v3 последнего поколения с жидкостным охлаждением обеспечивают максимальную производительность, и каждый из них обеспечивает более 100 вычислительных мощностей petaFLOP. С точки зрения необработанных математических операций в секунду, Cloud TPU v3 Pod сопоставим с топ-5 суперкомпьютерами в мире (хотя он работает с более низкой числовой точностью).

Также возможно использование небольших секций модулей Cloud TPU, называемых «срезами». Мы часто видим, что команды ML разрабатывают свои начальные модели на отдельных устройствах Cloud TPU (которые обычно доступны), а затем расширяются до постепенно увеличивающихся срезов блоков Cloud TPU посредством параллелизма данных. и моделирование параллелизма для достижения большей скорости обучения и масштабирования модели.

Вы можете узнать больше о базовой архитектуре TPU в этом блоге или на этом интерактивном веб-сайте, а также узнать больше об отдельных устройствах Cloud TPU и срезах Cloud TPU Pod здесь.
cloud.google.com/blog/products/ai-machine-learning/what-makes-tpus-fine-tuned-for-deep-learning
storage.googleapis.com/nexttpu/index.html
cloud.google.com/tpu/docs/deciding-pod-versus-tpu

Испытать Cloud TPU в вашем браузере легко и весело прямо сейчас с помощью этого интерактивного Colab, который позволяет вам применять предварительно обученную модель сегментации изображения R-CNN к изображению по вашему выбору. Вы можете узнать больше о сегментации изображений на облачных TPU в этом недавнем сообщении в блоге.

Далее, мы рекомендуем проработать наш быстрый запуск Cloud TPU, а затем поэкспериментировать с одной из оптимизированных эталонных моделей Cloud TPU с открытым исходным кодом, перечисленных ниже. Мы тщательно оптимизировали эти модели, чтобы сэкономить ваше время и усилия, и они демонстрируют множество лучших практик облачного TPU. Сравнительный анализ одной из наших официальных эталонных моделей в общедоступном наборе данных для больших и больших срезов стручков — отличный способ получить представление о производительности облачного TPU в масштабе.

Классификация изображений

Мобильная классификация изображений

Обнаружение объекта

Сегментация изображения

Обработка естественного языка

Распознавание речи

Генеративные Состязательные Сети

После работы с одной из вышеперечисленных эталонных моделей в Cloud TPU наше руководство по производительности, руководство по инструментам профилирования и руководство по устранению неполадок могут предоставить вам подробную техническую информацию, которая поможет вам самостоятельно создавать и оптимизировать модели машинного обучения с использованием высокоуровневого TensorFlow. API-интерфейсы. Если вы готовы запросить срезы Cloud TPU или Cloud TPU Pod для ускорения собственных рабочих нагрузок ML, обратитесь к торговому представителю Google Cloud.
cloud.google.com/tpu/docs/performance-guide
cloud.google.com/tpu/docs/cloud-tpu-tools
cloud.google.com/tpu/docs/troubleshooting
cloud.google.com/contact/